Sau khi Nhật đảo chính Pháp ở Đông Dương, ông cùng các đồng chí mình được trả tự do. Ông ra Hà Nội, tham gia công tác chuẩn bị giành chính quyền. Hoạt động trong Ban Công vận Xứ ủy, ông đã góp phần phát triển các tổ Công nhân Cứu quốc và tự vệ trong các nhà máy xí nghiệp trọng yếu của thành phố, tăng cường tuyên truyền trong công nhân, chuẩn bị lực lượng, mua sắm vũ khí để chuẩn bị giành chính quyền khi có thời cơ đến[1]. Lúc này, ông lấy bí danh là Nguyễn Huy Khôi.

Ngày 16 tháng 8 năm 1945, tại số nhà 101 Gambetta (nay là phố Trần Hưng Đạo), Xứ ủy Bắc Kỳ quyết định thành lập Ủy ban Quân sự cách mạng Bắc Kỳ gồm 5 người gồm Nguyễn Khang, Ủy viên Thường vụ Xứ ủy; Nguyễn Huy Khôi, phụ trách Ban Công vận Xứ ủy; Nguyễn Quyết, Bí thư Thành ủy Hà Nội, Lê Trọng Nghĩa, Bí thư Đảng đoàn của Đảng Dân chủ; Nguyễn Duy Thân, Thành ủy viên; thống nhất chỉ đạo các đội vũ trang để giành chính quyền. Sau khi giành được chính quyền, tối ngày 19 tháng 8, Xứ ủy Bắc Kỳ đã họp và chỉ định Nguyễn Khang làm Chủ tịch Ủy ban nhân dân cách mạng lâm thời Bắc bộ và Nguyễn Huy Khôi[3] làm Chủ tịch Ủy ban nhân dân cách mạng lâm thời Hà Nội[1]. Ông trở thành vị Chủ tịch đầu tiên của thành phố Hà Nội dưới chính thể Cộng hòa.

Tuy chỉ giữ chức vụ này trong 10 ngày, vị chủ tịch trẻ mới 23 tuổi cũng đã ban hành các chính sách mới của chính quyền cách mạng như xóa bỏ các thứ thuế bất hợp lý, đảm bảo tiếp tế gạo cho nội thành, các nhà công thương gia tiếp tục sản xuất và buôn bán, công nhân viên chức tiếp tục đến nhà máy công sở làm việc bình thường, duy trì việc hộ đê, chống lũ lụt. Đến ngày 30 tháng 8 năm 1945, Ủy ban Hành chính thành phố Hà Nội chính thức thành lập với Bác sĩ Trần Duy Hưng làm Chủ tịch.